Classifiers in supervised learning have various security and privacy issues, e.g., 1) data poisoning attacks, backdoor attacks, and adversarial examples on the security side as well as 2) inference attacks and the right to be forgotten for the training data on the privacy side. Various secure and privacy-preserving supervised learning algorithms with formal guarantees have been proposed to address these issues. However, they suffer from various limitations such as accuracy loss, small certified security guarantees, and/or inefficiency. Self-supervised learning is an emerging technique to pre-train encoders using unlabeled data. Given a pre-trained encoder as a feature extractor, supervised learning can train a simple yet accurate classifier using a small amount of labeled training data. In this work, we perform the first systematic, principled measurement study to understand whether and when a pre-trained encoder can address the limitations of secure or privacy-preserving supervised learning algorithms. Our key findings are that a pre-trained encoder substantially improves 1) both accuracy under no attacks and certified security guarantees against data poisoning and backdoor attacks of state-of-the-art secure learning algorithms (i.e., bagging and KNN), 2) certified security guarantees of randomized smoothing against adversarial examples without sacrificing its accuracy under no attacks, 3) accuracy of differentially private classifiers, and 4) accuracy and/or efficiency of exact machine unlearning.

Image super-resolution is a common task on mobile and IoT devices, where one often needs to upscale and enhance low-resolution images and video frames. While numerous solutions have been proposed for this problem in the past, they are usually not compatible with low-power mobile NPUs having many computational and memory constraints. In this Mobile AI challenge, we address this problem and propose the participants to design an efficient quantized image super-resolution solution that can demonstrate a real-time performance on mobile NPUs. The participants were provided with the DIV2K dataset and trained INT8 models to do a high-quality 3X image upscaling. The runtime of all models was evaluated on the Synaptics VS680 Smart Home board with a dedicated edge NPU capable of accelerating quantized neural networks. All proposed solutions are fully compatible with the above NPU, demonstrating an up to 60 FPS rate when reconstructing Full HD resolution images. A detailed description of all models developed in the challenge is provided in this paper.

半监督学习（SSL）利用标记和未标记的数据来训练机器学习（ML）模型。最先进的SSL方法可以通过利用更少的标记数据来实现与监督学习相当的性能。但是，大多数现有作品都集中在提高SSL的性能。在这项工作中，我们通过研究SSL的培训数据隐私来采取不同的角度。具体而言，我们建议针对由SSL训练的ML模型进行的第一个基于数据增强的成员推理攻击。给定数据样本和黑框访问模型，成员推理攻击的目标是确定数据样本是否属于模型的训练数据集。我们的评估表明，拟议的攻击可以始终超过现有的成员推理攻击，并针对由SSL训练的模型实现最佳性能。此外，我们发现，SSL中会员泄漏的原因与受到监督学习中普遍认为的原因不同，即过度拟合（培训和测试准确性之间的差距）。我们观察到，SSL模型已被概括为测试数据（几乎为0个过度拟合），但“记住”训练数据通过提供更自信的预测，无论其正确性如何。我们还探索了早期停止，作为防止成员推理攻击SSL的对策。结果表明，早期停止可以减轻会员推理攻击，但由于模型的实用性降解成本。

许多基于点的3D检测器采用点功能采样策略来提出一些分数以提高推断。这些策略通常基于固定和手工制作的规则，因此难以处理复杂的场景。与它们不同的是，我们提出了一个动态球查询（DBQ）网络，以根据输入特征自适应地选择输入点的子集，并为每个选定的点分配特征转换，并具有合适的接受场。它可以嵌入到一些最新的3D检测器中，并以端到端的方式进行训练，从而大大降低计算成本。广泛的实验表明，我们的方法可以在Kitti和Waymo数据集中将延迟降低30％-60％。具体而言，我们的检测器的推理速度分别可以在Kitti和Waymo数据集上具有可忽略的性能降解，可以达到162 fps和30 fps。

本文研究了一个新的，实用但具有挑战性的问题，称为类无监督的域名适应性（CI-UDA），其中标记的源域包含所有类别，但是未标记的目标域中的类别依次增加。由于两个困难，这个问题具有挑战性。首先，源和目标标签集在每个时间步骤都不一致，这使得很难进行准确的域对齐。其次，以前的目标类在当前步骤中不可用，从而忘记了先前的知识。为了解决这个问题，我们提出了一种新型的原型引导连续适应（PROCA）方法，由两种解决方案策略组成。 1）标签原型识别：我们通过检测具有目标样本的累积预测概率的共享类来识别目标标签原型。 2）基于原型的对齐和重播：基于确定的标签原型，我们对齐域并强制执行模型以保留先前的知识。有了这两种策略，ProCA能够有效地将源模型改编为类未标记的目标域。广泛的实验证明了Proca在解决CI-UDA方面的有效性和优势。源代码可从https://github.com/hongbin98/proca.git获得

Contrastive learning pre-trains an image encoder using a large amount of unlabeled data such that the image encoder can be used as a general-purpose feature extractor for various downstream tasks. In this work, we propose PoisonedEncoder, a data poisoning attack to contrastive learning. In particular, an attacker injects carefully crafted poisoning inputs into the unlabeled pre-training data, such that the downstream classifiers built based on the poisoned encoder for multiple target downstream tasks simultaneously classify attacker-chosen, arbitrary clean inputs as attacker-chosen, arbitrary classes. We formulate our data poisoning attack as a bilevel optimization problem, whose solution is the set of poisoning inputs; and we propose a contrastive-learning-tailored method to approximately solve it. Our evaluation on multiple datasets shows that PoisonedEncoder achieves high attack success rates while maintaining the testing accuracy of the downstream classifiers built upon the poisoned encoder for non-attacker-chosen inputs. We also evaluate five defenses against PoisonedEncoder, including one pre-processing, three in-processing, and one post-processing defenses. Our results show that these defenses can decrease the attack success rate of PoisonedEncoder, but they also sacrifice the utility of the encoder or require a large clean pre-training dataset.

本文提出了一种基于逆变器的Volt-VAR控制（IB-VVC）的一步两级深度强化学习（OSTC-DRL）方法。首先，考虑IB-VVC可以作为单周期优化问题进行配制，我们将IB-VVC作为单步马尔可夫决策过程而不是标准的Markov决策过程，从而简化了DRL学习任务。然后，我们设计了单步角色批判性DRL方案，该方案是最近DRL算法的简化版本，它可以成功地避免了Q值高估的问题。此外，考虑VVC的两个目标：最大程度地减少功率损耗并消除违反电压，我们利用两个批评家分别近似两个目标的回报。它简化了每个评论家的近似任务，并避免了评论家学习过程中两个目标之间的相互作用效果。 OSTC-DRL方法集成了单步角色批判性DRL方案和两批评技术。基于OSTC-DRL，我们设计了两种集中式DRL算法。此外，我们将OSTC-DRL扩展到分散的IB-VVC的多代理OSTC-DRL并设计两个多代理DRL算法。模拟表明，所提出的OSTC-DRL具有更快的收敛速度和更好的控制性能，并且多代理OSTC-DRL适用于分散的IB-VVC问题。

预训练的编码器是通用特征提取器，可用于许多下游任务。自我监督学习的最新进展可以使用大量未标记的数据预先培训高效编码器，从而导致新兴编码器作为服务（EAAS）。预先训练的编码器可能被视为机密性，因为其培训需要大量数据和计算资源及其公开发布可能有助于滥用AI，例如，以进行深层效果。在本文中，我们提出了第一次称为Stolenencoder的攻击，以窃取预训练的图像编码器。我们评估了由我们自己预先训练的多个目标编码器和三个现实世界目标编码器的stolenencoder，包括由Google预先培训的Imagenet编码器，由OpenAI预先培训的剪辑编码器以及Clarifai的一般嵌入式编码器部署为付费EAAS。我们的结果表明，我们被盗的编码器与目标编码器具有相似的功能。特别是，构建在目标编码器和被盗的下游分类器具有相似的精度。此外，使用StolenenCoder窃取目标编码器所需的数据和计算资源要比从头开始进行预训练要少得多。我们还探索了三个防御能力，这些防御能力扰动目标编码器产生的矢量。我们的结果表明，这些防御措施不足以减轻Stolenencoder。

在现代电力系统中，关于发电/消耗的实时数据及其相关特征存储在各种分布式方中，包括家用仪表，变压器站和外部组织。为了充分利用这些分布式数据的潜在模式，以进行准确的功率预测，需要联合学习作为协作但隐私保留培训方案。然而，目前的联合学习框架偏振朝向解决数据的水平或垂直分离，并且倾向于忽略两个存在的情况。此外，在主流级联联合学习框架中，仅采用人工神经网络来学习数据模式，与表格数据集的基于树的模型相比，该数据模式被认为是更准确和解释的。为此，我们提出了一种基于XGBoost的混合联合学习框架，用于从实时外部功能的分布式电源预测。除了引入提升的树木以提高准确性和可解释性之外，我们还结合了水平和垂直的联邦学习，以解决特征在当地异构各方分散的场景，并在各种当地地区分散样品。此外，我们设计了动态任务分配方案，使得各方获得公平的信息份额，并且每个方的计算能力可以充分利用促进培训效率。提出了一个后续案例研究，以证明采用拟议框架的必要性。还确认了拟议框架的优点，效率和精度性能。

由于柔软的机器人越来越多地在需要高度和受控接触力的环境中使用，最近的研究表明，使用软机器人来估计或本质上感应而不需要外部传感机制。虽然这主要被示出在肌腱的连续管道机构或包括推拉杆致动的可变形机器人，但由于高致动变异性和非线性机械系统响应，流体驱动器仍然造成巨大挑战。在这项工作中，我们调查液压，并联软机器人至本质上的能力和随后控制接触力。导出了一种综合算法，用于静态，准静态和动态力感测，依赖于系统的流体体积和压力信息。该算法验证了单一自由度软流体致动器。结果表明，在准静态配置中，可以在验证范围内的验证范围内的0.56±0.66n的精度下估计作用在单个致动器上的轴向力。力传感方法应用于在单个致动器中强制控制以及耦合的并联机器人。可以看出，两种系统可以准确地控制力，以在多自由度平行软机器人的情况下控制定向接触力的能力。